Un processus stochastique est une entité mathématique utilisée pour représenter l'évolution d'un système au fil du temps régi par des lois probabilistes, plutôt que par des règles déterministes. Contrairement à une seule variable aléatoire, nous le définissons fondamentalement comme une collection de variables aléatoires $\{X_n : n \in T\}$ indexées par le temps. Dans cette leçon, nous nous concentrons sur le marche aléatoire simple (MRS)—un modèle en temps discret qui simule la fortune d'un joueur, partant d'une valeur initiale ($a$) et progressant à travers des paris indépendants.
1. Les mécanismes d'une marche aléatoire simple
Nous exprimons l'état de la marche au temps $n$ comme la somme d'augmentations indépendantes :
$$X_n = a + Z_1 + Z_2 + \dots + Z_n$$
où chaque $Z_i$ représente le résultat d'un pari : $+1$ (gain) avec une probabilité $p$, et $-1$ (perte) avec une probabilité $q = 1-p$.
Soit $\{X_n\}$ une marche aléatoire simple. Si $k$ est un entier tel que $-n \leq k \leq n$ et que $n + k$ est pair, alors la probabilité d'être à l'état $a+k$ après $n$ étapes est :
$$P(X_n = a+k) = \binom{n}{\frac{n+k}{2}} p^{(n+k)/2} q^{(n-k)/2}$$
Piège crucial : Pour toutes les autres valeurs de $k$ (où $n+k$ est impair ou $|k| > n$), $P(X_n = a + k) = 0$. Ce « contrôle de parité » garantit que vous ne pouvez atteindre que certains états en fonction du nombre d'étapes effectuées.
2. Espérance et équité
La trajectoire moyenne du processus dépend de la probabilité $p$. La valeur attendue au temps $n$ est donnée par :
$E(X_n) = a + n(2p - 1)$
- Jeux équitables ($p = 1/2$) : Le processus est un martingale. En moyenne, la fortune reste constante : $E(X_{n+1} - X_n | X_n) = 0$.
- Jeux défavorables ($p < 1/2$) : Le processus se déplace vers le bas, vers la ruine.
- Jeux favorables ($p > 1/2$) : Le processus se déplace vers le haut.
3. Le paysage plus large
Bien que la MRS traite des sommes discrètes, les processus stochastiques englobent également des modèles continus. Par exemple, le processus de Poisson ($N_t$) présente des incréments indépendants où $P(N_t = k) = e^{-at} \frac{(at)^k}{k!}$. Nous observons également ces dynamiques dans les distributions cibles pour l'échantillonnage MCMC, telles que $f(y) = e^{-y^4}(1+|y|)^3$. Ces processus utilisent souvent une notation de transition comme $v_1 = v_0 A$.